from datasets import load_dataset

# 从huggingface上下载数据集

"""
Alpaca GPT-4:
vicgalle/alpaca-gpt4

winogrande: 
['winogrande_debiased', 'winogrande_l', 'winogrande_m', 'winogrande_s', 'winogrande_xl', 'winogrande_xs']
Example of usage:`load_dataset('allenai/winogrande', 'winogrande_debiased')`
"""

datasaver = load_dataset("vicgalle/alpaca-gpt4") # 虽然可以下载数据集，但很乱
datasaver.save_to_disk("/liub/zyf/Fine-tuning/LMFlow-1.0.0/data/alpaca-gpt4") # 这样保存下来结构好
